WebCore:
[WebKit-https.git] / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007, 2008 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CSSComputedStyleDeclaration.h"
31 #include "CSSPrimitiveValue.h"
32 #include "CSSProperty.h"
33 #include "CSSPropertyNames.h"
34 #include "CSSRule.h"
35 #include "CSSRuleList.h"
36 #include "CSSStyleRule.h"
37 #include "CSSStyleSelector.h"
38 #include "CSSValue.h"
39 #include "CSSValueKeywords.h"
40 #include "Comment.h"
41 #include "DeleteButtonController.h"
42 #include "Document.h"
43 #include "DocumentFragment.h"
44 #include "DocumentType.h"
45 #include "Editor.h"
46 #include "Frame.h"
47 #include "HTMLElement.h"
48 #include "HTMLNames.h"
49 #include "InlineTextBox.h"
50 #include "Logging.h"
51 #include "ProcessingInstruction.h"
52 #include "QualifiedName.h"
53 #include "Range.h"
54 #include "Selection.h"
55 #include "TextIterator.h"
56 #include "htmlediting.h"
57 #include "visible_units.h"
58
59 using namespace std;
60
61 namespace WebCore {
62
63 using namespace HTMLNames;
64
65 static inline bool shouldSelfClose(const Node *node);
66
67 class AttributeChange {
68 public:
69     AttributeChange()
70         : m_name(nullAtom, nullAtom, nullAtom)
71     {
72     }
73
74     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
75         : m_element(element), m_name(name), m_value(value)
76     {
77     }
78
79     void apply()
80     {
81         m_element->setAttribute(m_name, m_value);
82     }
83
84 private:
85     RefPtr<Element> m_element;
86     QualifiedName m_name;
87     String m_value;
88 };
89
90 static void appendAttributeValue(Vector<UChar>& result, const String& attr)
91 {
92     const UChar* uchars = attr.characters();
93     unsigned len = attr.length();
94     unsigned lastCopiedFrom = 0;
95
96     static const String ampEntity("&amp;");
97     static const String ltEntity("&lt;");
98     static const String quotEntity("&quot;");
99     
100     for (unsigned i = 0; i < len; ++i) {
101         UChar c = uchars[i];
102         switch (c) {
103             case '&':
104                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
105                 append(result, ampEntity);
106                 lastCopiedFrom = i + 1;
107                 break;
108             case '<':
109                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
110                 append(result, ltEntity);
111                 lastCopiedFrom = i + 1;
112                 break;
113             case '"':
114                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
115                 append(result, quotEntity);
116                 lastCopiedFrom = i + 1;
117         }
118     }
119     
120     result.append(uchars + lastCopiedFrom, len - lastCopiedFrom);
121 }
122
123 static void append(Vector<UChar>& vector, const char* string)
124 {
125     const char* p = string;
126     while (*p) {
127         UChar c = *p++;
128         vector.append(c);
129     }
130 }
131     
132 static String escapeContentText(const String& in)
133 {
134     Vector<UChar> s;
135
136     unsigned len = in.length();
137     unsigned lastCopiedFrom = 0;
138
139     s.reserveCapacity(len);
140
141     const UChar* characters = in.characters();
142
143     for (unsigned i = 0; i < len; ++i) {
144         UChar c = characters[i];
145         if ((c == '&') | (c == '<')) {
146             s.append(characters + lastCopiedFrom, i - lastCopiedFrom);
147             if (c == '&')
148                 append(s, "&amp;");
149             else 
150                 append(s, "&lt;");
151             lastCopiedFrom = i + 1;
152         }
153     }
154
155     s.append(characters + lastCopiedFrom, len - lastCopiedFrom);
156
157     return String::adopt(s);
158 }
159     
160 static void appendEscapedContent(Vector<UChar>& result, pair<const UChar*, size_t> range)
161 {
162     const UChar* uchars = range.first;
163     unsigned len = range.second;
164     unsigned lastCopiedFrom = 0;
165     
166     static const String ampEntity("&amp;");
167     static const String ltEntity("&lt;");
168     
169     for (unsigned i = 0; i < len; ++i) {
170         UChar c = uchars[i];
171         if ((c == '&') | (c == '<')) {
172             result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
173             if (c == '&')
174                 append(result, ampEntity);
175             else 
176                 append(result, ltEntity);
177             lastCopiedFrom = i + 1;
178         }
179     }
180     
181     result.append(uchars + lastCopiedFrom, len - lastCopiedFrom);
182 }    
183
184 static void appendQuotedURLAttributeValue(Vector<UChar>& result, const String& urlString)
185 {
186     UChar quoteChar = '\"';
187     String strippedURLString = urlString.stripWhiteSpace();
188     if (protocolIs(strippedURLString, "javascript")) {
189         // minimal escaping for javascript urls
190         if (strippedURLString.contains('"')) {
191             if (strippedURLString.contains('\''))
192                 strippedURLString.replace('\"', "&quot;");
193             else
194                 quoteChar = '\'';
195         }
196         result.append(quoteChar);
197         append(result, strippedURLString);
198         result.append(quoteChar);
199         return;
200     }
201
202     // FIXME: This does not fully match other browsers. Firefox escapes spaces and other special characters.
203     result.append(quoteChar);
204     appendAttributeValue(result, urlString);
205     result.append(quoteChar);    
206 }
207     
208 static String stringValueForRange(const Node* node, const Range* range)
209 {
210     if (!range)
211         return node->nodeValue();
212
213     String str = node->nodeValue();
214     ExceptionCode ec;
215     if (node == range->endContainer(ec))
216         str.truncate(range->endOffset(ec));
217     if (node == range->startContainer(ec))
218         str.remove(0, range->startOffset(ec));
219     return str;
220 }
221
222 static inline pair<const UChar*, size_t> ucharRange(const Node *node, const Range *range)
223 {
224     String str = node->nodeValue();
225     const UChar* characters = str.characters();
226     size_t length = str.length();
227
228     if (range) {
229         ExceptionCode ec;
230         if (node == range->endContainer(ec))
231             length = range->endOffset(ec);
232         if (node == range->startContainer(ec)) {
233             size_t start = range->startOffset(ec);
234             characters += start;
235             length -= start;
236         }
237     }
238     
239     return make_pair(characters, length);
240 }
241     
242 static inline void appendUCharRange(Vector<UChar>& result, const pair<const UChar*, size_t> range)
243 {
244     result.append(range.first, range.second);
245 }
246     
247 static String renderedText(const Node* node, const Range* range)
248 {
249     if (!node->isTextNode())
250         return String();
251
252     ExceptionCode ec;
253     const Text* textNode = static_cast<const Text*>(node);
254     unsigned startOffset = 0;
255     unsigned endOffset = textNode->length();
256
257     if (range && node == range->startContainer(ec))
258         startOffset = range->startOffset(ec);
259     if (range && node == range->endContainer(ec))
260         endOffset = range->endOffset(ec);
261     
262     Position start(const_cast<Node*>(node), startOffset);
263     Position end(const_cast<Node*>(node), endOffset);
264     return plainText(Range::create(node->document(), start, end).get());
265 }
266
267 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
268 {
269     RefPtr<CSSMutableStyleDeclaration> style = new CSSMutableStyleDeclaration();
270     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
271     if (matchedRules) {
272         for (unsigned i = 0; i < matchedRules->length(); i++) {
273             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
274                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
275                 style->merge(s.get(), true);
276             }
277         }
278     }
279     
280     return style.release();
281 }
282
283 static void removeEnclosingMailBlockquoteStyle(CSSMutableStyleDeclaration* style, Node* node)
284 {
285     Node* blockquote = nearestMailBlockquote(node);
286     if (!blockquote || !blockquote->parentNode())
287         return;
288             
289     RefPtr<CSSMutableStyleDeclaration> parentStyle = Position(blockquote->parentNode(), 0).computedStyle()->copyInheritableProperties();
290     RefPtr<CSSMutableStyleDeclaration> blockquoteStyle = Position(blockquote, 0).computedStyle()->copyInheritableProperties();
291     parentStyle->diff(blockquoteStyle.get());
292     blockquoteStyle->diff(style);
293 }
294
295 static void removeDefaultStyles(CSSMutableStyleDeclaration* style, Document* document)
296 {
297     if (!document || !document->documentElement())
298         return;
299             
300     RefPtr<CSSMutableStyleDeclaration> documentStyle = computedStyle(document->documentElement())->copyInheritableProperties();
301     documentStyle->diff(style);
302 }
303
304 static bool shouldAddNamespaceElem(const Element* elem)
305 {
306     // Don't add namespace attribute if it is already defined for this elem.
307     const AtomicString& prefix = elem->prefix();
308     AtomicString attr = !prefix.isEmpty() ? "xmlns:" + prefix : "xmlns";
309     return !elem->hasAttribute(attr);
310 }
311
312 static bool shouldAddNamespaceAttr(const Attribute* attr, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
313 {
314     // Don't add namespace attributes twice
315     static const AtomicString xmlnsURI = "http://www.w3.org/2000/xmlns/";
316     static const QualifiedName xmlnsAttr(nullAtom, "xmlns", xmlnsURI);
317     if (attr->name() == xmlnsAttr) {
318         namespaces.set(emptyAtom.impl(), attr->value().impl());
319         return false;
320     }
321     
322     QualifiedName xmlnsPrefixAttr("xmlns", attr->localName(), xmlnsURI);
323     if (attr->name() == xmlnsPrefixAttr) {
324         namespaces.set(attr->localName().impl(), attr->value().impl());
325         return false;
326     }
327     
328     return true;
329 }
330
331 static void appendNamespace(Vector<UChar>& result, const AtomicString& prefix, const AtomicString& ns, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
332 {
333     if (ns.isEmpty())
334         return;
335         
336     // Use emptyAtoms's impl() for both null and empty strings since the HashMap can't handle 0 as a key
337     AtomicStringImpl* pre = prefix.isEmpty() ? emptyAtom.impl() : prefix.impl();
338     AtomicStringImpl* foundNS = namespaces.get(pre);
339     if (foundNS != ns.impl()) {
340         namespaces.set(pre, ns.impl());
341         static const String xmlns("xmlns");
342         result.append(' ');
343         append(result, xmlns);
344         if (!prefix.isEmpty()) {
345             result.append(':');
346             append(result, prefix);
347         }
348
349         result.append('=');
350         result.append('"');
351         appendAttributeValue(result, ns);
352         result.append('"');
353     }
354 }
355     
356 static void appendStartMarkup(Vector<UChar>& result, const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
357 {
358     bool documentIsHTML = node->document()->isHTMLDocument();
359     switch (node->nodeType()) {
360         case Node::TEXT_NODE: {
361             if (Node* parent = node->parentNode()) {
362                 if (parent->hasTagName(listingTag)
363                     || parent->hasTagName(scriptTag)
364                     || parent->hasTagName(styleTag)
365                     || parent->hasTagName(textareaTag)
366                     || parent->hasTagName(xmpTag)) {
367                     appendUCharRange(result, ucharRange(node, range));
368                     break;
369                 }
370             }
371             if (!annotate) {
372                 appendEscapedContent(result, ucharRange(node, range));
373                 break;
374             }
375             
376             bool useRenderedText = !enclosingNodeWithTag(Position(const_cast<Node*>(node), 0), selectTag);
377             String markup = escapeContentText(useRenderedText ? renderedText(node, range) : stringValueForRange(node, range));
378             if (annotate)
379                 markup = convertHTMLTextToInterchangeFormat(markup, static_cast<const Text*>(node));
380             append(result, markup);
381             break;
382         }
383         case Node::COMMENT_NODE:
384             append(result, static_cast<const Comment*>(node)->toString());
385             break;
386         case Node::DOCUMENT_NODE:
387         case Node::DOCUMENT_FRAGMENT_NODE:
388             break;
389         case Node::DOCUMENT_TYPE_NODE:
390             append(result, static_cast<const DocumentType*>(node)->toString());
391             break;
392         case Node::PROCESSING_INSTRUCTION_NODE:
393             append(result, static_cast<const ProcessingInstruction*>(node)->toString());
394             break;
395         case Node::ELEMENT_NODE: {
396             result.append('<');
397             const Element* el = static_cast<const Element*>(node);
398             bool convert = convertBlocksToInlines & isBlock(const_cast<Node*>(node));
399             append(result, el->nodeNamePreservingCase());
400             NamedAttrMap *attrs = el->attributes();
401             unsigned length = attrs->length();
402             if (!documentIsHTML && namespaces && shouldAddNamespaceElem(el))
403                 appendNamespace(result, el->prefix(), el->namespaceURI(), *namespaces);
404
405             for (unsigned int i = 0; i < length; i++) {
406                 Attribute *attr = attrs->attributeItem(i);
407                 // We'll handle the style attribute separately, below.
408                 if (attr->name() == styleAttr && el->isHTMLElement() && (annotate || convert))
409                     continue;
410                 result.append(' ');
411
412                 if (documentIsHTML)
413                     append(result, attr->name().localName());
414                 else
415                     append(result, attr->name().toString());
416
417                 result.append('=');
418
419                 if (el->isURLAttribute(attr))
420                     appendQuotedURLAttributeValue(result, attr->value());
421                 else {
422                     result.append('\"');
423                     appendAttributeValue(result, attr->value());
424                     result.append('\"');
425                 }
426
427                 if (!documentIsHTML && namespaces && shouldAddNamespaceAttr(attr, *namespaces))
428                     appendNamespace(result, attr->prefix(), attr->namespaceURI(), *namespaces);
429             }
430             
431             if (el->isHTMLElement() && (annotate || convert)) {
432                 Element* element = const_cast<Element*>(el);
433                 RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
434                 if (annotate) {
435                     RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(el));
436                     // Styles from the inline style declaration, held in the variable "style", take precedence 
437                     // over those from matched rules.
438                     styleFromMatchedRules->merge(style.get());
439                     style = styleFromMatchedRules;
440                     
441                     RefPtr<CSSComputedStyleDeclaration> computedStyleForElement = computedStyle(element);
442                     RefPtr<CSSMutableStyleDeclaration> fromComputedStyle = new CSSMutableStyleDeclaration();
443                     
444                     DeprecatedValueListConstIterator<CSSProperty> end;
445                     for (DeprecatedValueListConstIterator<CSSProperty> it = style->valuesIterator(); it != end; ++it) {
446                         const CSSProperty& property = *it;
447                         CSSValue* value = property.value();
448                         // The property value, if it's a percentage, may not reflect the actual computed value.  
449                         // For example: style="height: 1%; overflow: visible;" in quirksmode
450                         // FIXME: There are others like this, see <rdar://problem/5195123> Slashdot copy/paste fidelity problem
451                         if (value->cssValueType() == CSSValue::CSS_PRIMITIVE_VALUE)
452                             if (static_cast<CSSPrimitiveValue*>(value)->primitiveType() == CSSPrimitiveValue::CSS_PERCENTAGE)
453                                 if (RefPtr<CSSValue> computedPropertyValue = computedStyleForElement->getPropertyCSSValue(property.id()))
454                                     fromComputedStyle->addParsedProperty(CSSProperty(property.id(), computedPropertyValue));
455                     }
456                     
457                     style->merge(fromComputedStyle.get());
458                 }
459                 if (convert)
460                     style->setProperty(CSSPropertyDisplay, CSSValueInline, true);
461                 if (style->length() > 0) {
462                     static const String stylePrefix(" style=\"");
463                     append(result, stylePrefix);
464                     appendAttributeValue(result, style->cssText());
465                     result.append('\"');
466                 }
467             }
468             
469             if (shouldSelfClose(el)) {
470                 if (el->isHTMLElement())
471                     result.append(' '); // XHTML 1.0 <-> HTML compatibility.
472                 result.append('/');
473             }
474             result.append('>');
475             break;
476         }
477         case Node::CDATA_SECTION_NODE:
478             append(result, static_cast<const CDATASection*>(node)->toString());
479             break;
480         case Node::ATTRIBUTE_NODE:
481         case Node::ENTITY_NODE:
482         case Node::ENTITY_REFERENCE_NODE:
483         case Node::NOTATION_NODE:
484         case Node::XPATH_NAMESPACE_NODE:
485             ASSERT_NOT_REACHED();
486             break;
487     }
488 }
489
490 static String getStartMarkup(const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
491 {
492     Vector<UChar> result;
493     appendStartMarkup(result, node, range, annotate, convertBlocksToInlines, namespaces);
494     return String::adopt(result);
495 }
496
497 static inline bool doesHTMLForbidEndTag(const Node *node)
498 {
499     if (node->isHTMLElement()) {
500         const HTMLElement* htmlElt = static_cast<const HTMLElement*>(node);
501         return (htmlElt->endTagRequirement() == TagStatusForbidden);
502     }
503     return false;
504 }
505
506 // Rules of self-closure
507 // 1. No elements in HTML documents use the self-closing syntax.
508 // 2. Elements w/ children never self-close because they use a separate end tag.
509 // 3. HTML elements which do not have a "forbidden" end tag will close with a separate end tag.
510 // 4. Other elements self-close.
511 static inline bool shouldSelfClose(const Node *node)
512 {
513     if (node->document()->isHTMLDocument())
514         return false;
515     if (node->hasChildNodes())
516         return false;
517     if (node->isHTMLElement() && !doesHTMLForbidEndTag(node))
518         return false;
519     return true;
520 }
521
522 static void appendEndMarkup(Vector<UChar>& result, const Node* node)
523 {
524     if (!node->isElementNode() || shouldSelfClose(node) || (!node->hasChildNodes() && doesHTMLForbidEndTag(node)))
525         return;
526
527     result.append('<');
528     result.append('/');
529     append(result, static_cast<const Element*>(node)->nodeNamePreservingCase());
530     result.append('>');
531 }
532
533 static String getEndMarkup(const Node *node)
534 {
535     Vector<UChar> result;
536     appendEndMarkup(result, node);
537     return String::adopt(result);
538 }
539
540 static void appendMarkup(Vector<UChar>& result, Node* startNode, bool onlyIncludeChildren, Vector<Node*>* nodes, const HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
541 {
542     HashMap<AtomicStringImpl*, AtomicStringImpl*> namespaceHash;
543     if (namespaces)
544         namespaceHash = *namespaces;
545     
546     if (!onlyIncludeChildren) {
547         if (nodes)
548             nodes->append(startNode);
549         
550         appendStartMarkup(result,startNode, 0, DoNotAnnotateForInterchange, false, &namespaceHash);
551     }
552     // print children
553     if (!(startNode->document()->isHTMLDocument() && doesHTMLForbidEndTag(startNode)))
554         for (Node* current = startNode->firstChild(); current; current = current->nextSibling())
555             appendMarkup(result, current, false, nodes, &namespaceHash);
556     
557     // Print my ending tag
558     if (!onlyIncludeChildren)
559         appendEndMarkup(result, startNode);
560 }
561
562 static void completeURLs(Node* node, const String& baseURL)
563 {
564     Vector<AttributeChange> changes;
565
566     KURL parsedBaseURL(baseURL);
567
568     Node* end = node->traverseNextSibling();
569     for (Node* n = node; n != end; n = n->traverseNextNode()) {
570         if (n->isElementNode()) {
571             Element* e = static_cast<Element*>(n);
572             NamedAttrMap* attrs = e->attributes();
573             unsigned length = attrs->length();
574             for (unsigned i = 0; i < length; i++) {
575                 Attribute* attr = attrs->attributeItem(i);
576                 if (e->isURLAttribute(attr))
577                     changes.append(AttributeChange(e, attr->name(), KURL(parsedBaseURL, attr->value()).string()));
578             }
579         }
580     }
581
582     size_t numChanges = changes.size();
583     for (size_t i = 0; i < numChanges; ++i)
584         changes[i].apply();
585 }
586
587 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
588 {
589     VisiblePosition next = v.next();
590     Node* upstreamNode = next.deepEquivalent().upstream().node();
591     Node* downstreamNode = v.deepEquivalent().downstream().node();
592     // Add an interchange newline if a paragraph break is selected and a br won't already be added to the markup to represent it.
593     return isEndOfParagraph(v) && isStartOfParagraph(next) && !(upstreamNode->hasTagName(brTag) && upstreamNode == downstreamNode);
594 }
595
596 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(const Node* node)
597 {
598     if (!node->isHTMLElement())
599         return 0;
600     
601     // FIXME: Having to const_cast here is ugly, but it is quite a bit of work to untangle
602     // the non-const-ness of styleFromMatchedRulesForElement.
603     HTMLElement* element = const_cast<HTMLElement*>(static_cast<const HTMLElement*>(node));
604     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
605     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
606     style->merge(inlineStyleDecl.get());
607     return style.release();
608 }
609
610 static bool propertyMissingOrEqualToNone(CSSMutableStyleDeclaration* style, int propertyID)
611 {
612     if (!style)
613         return false;
614     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
615     if (!value)
616         return true;
617     if (!value->isPrimitiveValue())
618         return false;
619     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSSValueNone;
620 }
621
622 static bool elementHasTextDecorationProperty(const Node* node)
623 {
624     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
625     if (!style)
626         return false;
627     return !propertyMissingOrEqualToNone(style.get(), CSSPropertyTextDecoration);
628 }
629
630 String joinMarkups(const Vector<String> preMarkups, const Vector<String>& postMarkups)
631 {
632     size_t length = 0;
633
634     size_t preCount = preMarkups.size();
635     for (size_t i = 0; i < preCount; ++i)
636         length += preMarkups[i].length();
637
638     size_t postCount = postMarkups.size();
639     for (size_t i = 0; i < postCount; ++i)
640         length += postMarkups[i].length();
641
642     Vector<UChar> result;
643     result.reserveCapacity(length);
644
645     for (size_t i = preCount; i > 0; --i)
646         append(result, preMarkups[i - 1]);
647
648     for (size_t i = 0; i < postCount; ++i)
649         append(result, postMarkups[i]);
650
651     return String::adopt(result);
652 }
653
654 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
655 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
656 String createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange annotate, bool convertBlocksToInlines)
657 {
658     static const String interchangeNewlineString = String("<br class=\"") + AppleInterchangeNewline + "\">";
659
660     if (!range)
661         return "";
662
663     Document* document = range->ownerDocument();
664     if (!document)
665         return "";
666
667     // Disable the delete button so it's elements are not serialized into the markup,
668     // but make sure neither endpoint is inside the delete user interface.
669     Frame* frame = document->frame();
670     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
671     RefPtr<Range> updatedRange = avoidIntersectionWithNode(range, deleteButton ? deleteButton->containerElement() : 0);
672     if (!updatedRange)
673         return "";
674
675     if (deleteButton)
676         deleteButton->disable();
677
678     ExceptionCode ec = 0;
679     bool collapsed = updatedRange->collapsed(ec);
680     ASSERT(ec == 0);
681     if (collapsed)
682         return "";
683     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
684     ASSERT(ec == 0);
685     if (!commonAncestor)
686         return "";
687
688     document->updateLayoutIgnorePendingStylesheets();
689
690     Vector<String> markups;
691     Vector<String> preMarkups;
692     Node* pastEnd = updatedRange->pastLastNode();
693     Node* lastClosed = 0;
694     Vector<Node*> ancestorsToClose;
695     
696     Node* startNode = updatedRange->firstNode();
697     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
698     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
699     if (annotate && needInterchangeNewlineAfter(visibleStart)) {
700         if (visibleStart == visibleEnd.previous()) {
701             if (deleteButton)
702                 deleteButton->enable();
703             return interchangeNewlineString;
704         }
705
706         markups.append(interchangeNewlineString);
707         startNode = visibleStart.next().deepEquivalent().node();
708     }
709
710     Node* next;
711     for (Node* n = startNode; n != pastEnd; n = next) {
712         next = n->traverseNextNode();
713         bool skipDescendants = false;
714         bool addMarkupForNode = true;
715         
716         if (!n->renderer() && !enclosingNodeWithTag(Position(n, 0), selectTag)) {
717             skipDescendants = true;
718             addMarkupForNode = false;
719             next = n->traverseNextSibling();
720             // Don't skip over pastEnd.
721             if (pastEnd && pastEnd->isDescendantOf(n))
722                 next = pastEnd;
723         }
724
725         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
726             // Don't write out empty block containers that aren't fully selected.
727             continue;
728         
729         // Add the node to the markup.
730         if (addMarkupForNode) {
731             markups.append(getStartMarkup(n, updatedRange.get(), annotate));
732             if (nodes)
733                 nodes->append(n);
734         }
735         
736         if (n->firstChild() == 0 || skipDescendants) {
737             // Node has no children, or we are skipping it's descendants, add its close tag now.
738             if (addMarkupForNode) {
739                 markups.append(getEndMarkup(n));
740                 lastClosed = n;
741             }
742             
743             // Check if the node is the last leaf of a tree.
744             if (!n->nextSibling() || next == pastEnd) {
745                 if (!ancestorsToClose.isEmpty()) {
746                     // Close up the ancestors.
747                     do {
748                         Node *ancestor = ancestorsToClose.last();
749                         if (next != pastEnd && next->isDescendantOf(ancestor))
750                             break;
751                         // Not at the end of the range, close ancestors up to sibling of next node.
752                         markups.append(getEndMarkup(ancestor));
753                         lastClosed = ancestor;
754                         ancestorsToClose.removeLast();
755                     } while (!ancestorsToClose.isEmpty());
756                 }
757                 
758                 // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
759                 Node* nextParent = next ? next->parentNode() : 0;
760                 if (next != pastEnd && n != nextParent) {
761                     Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
762                     for (Node *parent = lastAncestorClosedOrSelf->parent(); parent != 0 && parent != nextParent; parent = parent->parentNode()) {
763                         // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
764                         if (!parent->renderer())
765                             continue;
766                         // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
767                         ASSERT(startNode->isDescendantOf(parent));
768                         preMarkups.append(getStartMarkup(parent, updatedRange.get(), annotate));
769                         markups.append(getEndMarkup(parent));
770                         if (nodes)
771                             nodes->append(parent);
772                         lastClosed = parent;
773                     }
774                 }
775             }
776         } else if (addMarkupForNode && !skipDescendants)
777             // We added markup for this node, and we're descending into it.  Set it to close eventually.
778             ancestorsToClose.append(n);
779     }
780     
781     // Include ancestors that aren't completely inside the range but are required to retain 
782     // the structure and appearance of the copied markup.
783     Node* specialCommonAncestor = 0;
784     Node* commonAncestorBlock = commonAncestor ? enclosingBlock(commonAncestor) : 0;
785     if (annotate && commonAncestorBlock) {
786         if (commonAncestorBlock->hasTagName(tbodyTag) || commonAncestorBlock->hasTagName(trTag)) {
787             Node* table = commonAncestorBlock->parentNode();
788             while (table && !table->hasTagName(tableTag))
789                 table = table->parentNode();
790             if (table)
791                 specialCommonAncestor = table;
792         } else if (commonAncestorBlock->hasTagName(listingTag)
793                     || commonAncestorBlock->hasTagName(olTag)
794                     || commonAncestorBlock->hasTagName(preTag)
795                     || commonAncestorBlock->hasTagName(tableTag)
796                     || commonAncestorBlock->hasTagName(ulTag)
797                     || commonAncestorBlock->hasTagName(xmpTag))
798             specialCommonAncestor = commonAncestorBlock;
799     }
800     
801     bool selectedOneOrMoreParagraphs = startOfParagraph(visibleStart) != startOfParagraph(visibleEnd) ||
802                                        isStartOfParagraph(visibleStart) && isEndOfParagraph(visibleEnd);
803                                       
804     // Retain the Mail quote level by including all ancestor mail block quotes.
805     if (lastClosed && annotate && selectedOneOrMoreParagraphs) {
806         for (Node *ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode())
807             if (isMailBlockquote(ancestor))
808                 specialCommonAncestor = ancestor;
809     }
810     
811     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
812     if (checkAncestor->renderer()) {
813         RefPtr<CSSMutableStyleDeclaration> checkAncestorStyle = computedStyle(checkAncestor)->copyInheritableProperties();
814         if (!propertyMissingOrEqualToNone(checkAncestorStyle.get(), CSSPropertyWebkitTextDecorationsInEffect))
815             specialCommonAncestor = enclosingNodeOfType(Position(checkAncestor, 0), &elementHasTextDecorationProperty);
816     }
817     
818     if (Node *enclosingAnchor = enclosingNodeWithTag(Position(specialCommonAncestor ? specialCommonAncestor : commonAncestor, 0), aTag))
819         specialCommonAncestor = enclosingAnchor;
820     
821     Node* body = enclosingNodeWithTag(Position(commonAncestor, 0), bodyTag);
822     // FIXME: Only include markup for a fully selected root (and ancestors of lastClosed up to that root) if
823     // there are styles/attributes on those nodes that need to be included to preserve the appearance of the copied markup.
824     // FIXME: Do this for all fully selected blocks, not just the body.
825     Node* fullySelectedRoot = body && *Selection::selectionFromContentsOfNode(body).toRange() == *updatedRange ? body : 0;
826     if (annotate && fullySelectedRoot)
827         specialCommonAncestor = fullySelectedRoot;
828         
829     if (specialCommonAncestor) {
830         // Also include all of the ancestors of lastClosed up to this special ancestor.
831         for (Node* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
832             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
833                 RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
834                 
835                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
836                 // appears to have no effect.
837                 if (!style->getPropertyCSSValue(CSSPropertyBackgroundImage) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
838                     style->setProperty(CSSPropertyBackgroundImage, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
839                 
840                 if (style->length()) {
841                     Vector<UChar> openTag;
842                     static const String divStyle("<div style=\"");
843                     append(openTag, divStyle);
844                     appendAttributeValue(openTag, style->cssText());
845                     openTag.append('\"');
846                     openTag.append('>');
847                     preMarkups.append(String::adopt(openTag));
848
849                     static const String divCloseTag("</div>");
850                     markups.append(divCloseTag);
851                 }
852             } else {
853                 preMarkups.append(getStartMarkup(ancestor, updatedRange.get(), annotate, convertBlocksToInlines));
854                 markups.append(getEndMarkup(ancestor));
855             }
856             if (nodes)
857                 nodes->append(ancestor);
858             
859             lastClosed = ancestor;
860             
861             if (ancestor == specialCommonAncestor)
862                 break;
863         }
864     }
865     
866     static const String styleSpanOpen = String("<span class=\"" AppleStyleSpanClass "\" style=\"");
867     static const String styleSpanClose("</span>");
868     
869     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
870     Node* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
871     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
872         RefPtr<CSSMutableStyleDeclaration> style = computedStyle(parentOfLastClosed)->copyInheritableProperties();
873
874         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
875         // us differentiate those styles from ones that the user has applied.  This helps us
876         // get the color of content pasted into blockquotes right.
877         removeEnclosingMailBlockquoteStyle(style.get(), parentOfLastClosed);
878         
879         // Document default styles will be added on another wrapper span.
880         removeDefaultStyles(style.get(), document);
881         
882         // Since we are converting blocks to inlines, remove any inherited block properties that are in the style.
883         // This cuts out meaningless properties and prevents properties from magically affecting blocks later
884         // if the style is cloned for a new block element during a future editing operation.
885         if (convertBlocksToInlines)
886             style->removeBlockProperties();
887
888         if (style->length() > 0) {
889             Vector<UChar> openTag;
890             append(openTag, styleSpanOpen);
891             appendAttributeValue(openTag, style->cssText());
892             openTag.append('\"');
893             openTag.append('>');
894             preMarkups.append(String::adopt(openTag));
895             
896             markups.append(styleSpanClose);
897         }
898     }
899     
900     if (lastClosed && lastClosed != document->documentElement()) {
901         // Add a style span with the document's default styles.  We add these in a separate
902         // span so that at paste time we can differentiate between document defaults and user
903         // applied styles.
904         RefPtr<CSSMutableStyleDeclaration> defaultStyle = computedStyle(document->documentElement())->copyInheritableProperties();
905         
906         if (defaultStyle->length() > 0) {
907             Vector<UChar> openTag;
908             append(openTag, styleSpanOpen);
909             appendAttributeValue(openTag, defaultStyle->cssText());
910             openTag.append('\"');
911             openTag.append('>');
912             preMarkups.append(String::adopt(openTag));
913             markups.append(styleSpanClose);
914         }
915     }
916
917     // FIXME: The interchange newline should be placed in the block that it's in, not after all of the content, unconditionally.
918     if (annotate && needInterchangeNewlineAfter(visibleEnd.previous()))
919         markups.append(interchangeNewlineString);
920     
921     if (deleteButton)
922         deleteButton->enable();
923
924     return joinMarkups(preMarkups, markups);
925 }
926
927 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL)
928 {
929     ASSERT(document->documentElement()->isHTMLElement());
930     // FIXME: What if the document element is not an HTML element?
931     HTMLElement *element = static_cast<HTMLElement*>(document->documentElement());
932
933     RefPtr<DocumentFragment> fragment = element->createContextualFragment(markup);
934
935     if (fragment && !baseURL.isEmpty() && baseURL != blankURL() && baseURL != document->baseURL())
936         completeURLs(fragment.get(), baseURL);
937
938     return fragment.release();
939 }
940
941 String createMarkup(const Node* node, EChildrenOnly includeChildren, Vector<Node*>* nodes)
942 {
943     Vector<UChar> result;
944
945     if (!node)
946         return "";
947
948     Document* document = node->document();
949     Frame* frame = document->frame();
950     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
951
952     // disable the delete button so it's elements are not serialized into the markup
953     if (deleteButton) {
954         if (node->isDescendantOf(deleteButton->containerElement()))
955             return "";
956         deleteButton->disable();
957     }
958
959     appendMarkup(result, const_cast<Node*>(node), includeChildren, nodes);
960
961     if (deleteButton)
962         deleteButton->enable();
963
964     return String::adopt(result);
965 }
966
967 static void fillContainerFromString(ContainerNode* paragraph, const String& string)
968 {
969     Document* document = paragraph->document();
970
971     ExceptionCode ec = 0;
972     if (string.isEmpty()) {
973         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
974         ASSERT(ec == 0);
975         return;
976     }
977
978     ASSERT(string.find('\n') == -1);
979
980     Vector<String> tabList;
981     string.split('\t', true, tabList);
982     String tabText = "";
983     bool first = true;
984     size_t numEntries = tabList.size();
985     for (size_t i = 0; i < numEntries; ++i) {
986         const String& s = tabList[i];
987
988         // append the non-tab textual part
989         if (!s.isEmpty()) {
990             if (!tabText.isEmpty()) {
991                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
992                 ASSERT(ec == 0);
993                 tabText = "";
994             }
995             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, i + 1 == numEntries));
996             paragraph->appendChild(textNode.release(), ec);
997             ASSERT(ec == 0);
998         }
999
1000         // there is a tab after every entry, except the last entry
1001         // (if the last character is a tab, the list gets an extra empty entry)
1002         if (i + 1 != numEntries)
1003             tabText.append('\t');
1004         else if (!tabText.isEmpty()) {
1005             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
1006             ASSERT(ec == 0);
1007         }
1008         
1009         first = false;
1010     }
1011 }
1012
1013 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
1014 {
1015     if (!context)
1016         return 0;
1017
1018     Node* styleNode = context->firstNode();
1019     if (!styleNode) {
1020         styleNode = context->startPosition().node();
1021         if (!styleNode)
1022             return 0;
1023     }
1024
1025     Document* document = styleNode->document();
1026     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
1027     
1028     if (text.isEmpty())
1029         return fragment.release();
1030
1031     String string = text;
1032     string.replace("\r\n", "\n");
1033     string.replace('\r', '\n');
1034
1035     ExceptionCode ec = 0;
1036     RenderObject* renderer = styleNode->renderer();
1037     if (renderer && renderer->style()->preserveNewline()) {
1038         fragment->appendChild(document->createTextNode(string), ec);
1039         ASSERT(ec == 0);
1040         if (string.endsWith("\n")) {
1041             RefPtr<Element> element;
1042             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
1043             ASSERT(ec == 0);
1044             element->setAttribute(classAttr, AppleInterchangeNewline);            
1045             fragment->appendChild(element.release(), ec);
1046             ASSERT(ec == 0);
1047         }
1048         return fragment.release();
1049     }
1050
1051     // A string with no newlines gets added inline, rather than being put into a paragraph.
1052     if (string.find('\n') == -1) {
1053         fillContainerFromString(fragment.get(), string);
1054         return fragment.release();
1055     }
1056
1057     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
1058     Node* block = enclosingBlock(context->firstNode());
1059     bool useClonesOfEnclosingBlock = !block->hasTagName(bodyTag);
1060     
1061     Vector<String> list;
1062     string.split('\n', true, list); // true gets us empty strings in the list
1063     size_t numLines = list.size();
1064     for (size_t i = 0; i < numLines; ++i) {
1065         const String& s = list[i];
1066
1067         RefPtr<Element> element;
1068         if (s.isEmpty() && i + 1 == numLines) {
1069             // For last line, use the "magic BR" rather than a P.
1070             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
1071             ASSERT(ec == 0);
1072             element->setAttribute(classAttr, AppleInterchangeNewline);            
1073         } else {
1074             element = useClonesOfEnclosingBlock ? static_cast<Element*>(block->cloneNode(false).get()) : createDefaultParagraphElement(document);
1075             fillContainerFromString(element.get(), s);
1076         }
1077         fragment->appendChild(element.release(), ec);
1078         ASSERT(ec == 0);
1079     }
1080     return fragment.release();
1081 }
1082
1083 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
1084 {
1085     if (!document)
1086         return 0;
1087
1088     // disable the delete button so it's elements are not serialized into the markup
1089     if (document->frame())
1090         document->frame()->editor()->deleteButtonController()->disable();
1091
1092     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
1093
1094     ExceptionCode ec = 0;
1095     size_t size = nodes.size();
1096     for (size_t i = 0; i < size; ++i) {
1097         RefPtr<Element> element = createDefaultParagraphElement(document);
1098         element->appendChild(nodes[i], ec);
1099         ASSERT(ec == 0);
1100         fragment->appendChild(element.release(), ec);
1101         ASSERT(ec == 0);
1102     }
1103
1104     if (document->frame())
1105         document->frame()->editor()->deleteButtonController()->enable();
1106
1107     return fragment.release();
1108 }
1109
1110 }